Completeness and Cost of Retrieval Structures for Multi-Tool Requests in LLM Agents
LLM Agent 多工具请求的检索结构完备性与成本
🧭 Agent 工具检索结构对比与完备性评估 ★ 深度解读
香港理工大学
比较六类工具检索结构，发现多工具完整检索需标注数据或30+次LLM调用，零训练/单次调用结构近乎失效
📌 工作参考价值（4 点）
- 评估 Agent 多步骤任务时，把 completeness@k 作为主指标，不要只看 recall@k；按所需工具/技能数量分层，否则单目标请求会掩盖多目标真实水平。
- 若工具池固定且有少量标注数据（75-90 条），优先训练 set-level retriever（如 COLT），查询期零 LLM 成本、完备率更高；若工具池频繁更新，用 LLM 层级导航兜底，但需预留 30+ 次调用和分钟级延迟预算。
- 失败归因决定修复方向：缺失项大量落在 top 17-50 时，可增大 K 或接 set-aware reranker；层级导航漏 prerequisite，则在导航后沿 producer-consumer 依赖补全已找到工具的上游/下游。
- 工具/技能描述尽量结构化声明 input/output schema，否则依赖图无法建边；没有 schema 时 LLM 补边不一定提升召回，可能反而引入噪声。